file blocking câu

• Some of the causes could be network connectivity issues, the site being down, or a robots.txt file blocking Bingbot.
  Một số nguyên nhân có thể là sự cố kết nối mạng, trang web bị sập hoặc tệp robot.txt chặn Bingbot.
• If you have included a “noindex” tag on the page, Google won’t see it, because Google must crawl (fetch) the page in order to see that tag, but Google won’t fetch your page if there’s a robots.txt file blocking it!
  Nếu bạn đã đặt thẻ “noindex” trên trang, Google sẽ không nhìn thấy nó, vì Google phải thu thập dữ liệu (tìm nạp) trang để thấy được thẻ đó, nhưng Google sẽ không tìm nạp trang của bạn nếu bị chặn bởi tệp robots.txt!